Distributional Approximate Nearest Neighbour Search for Uncertainty-Aware Retrieval
分布近似最近邻搜索:面向不确定性感知的检索
🧭 推荐系统 · 向量检索与探索 ★ 深度解读
aampe · Antwerp, Belgium
在 ANN 索引中为每个物品采样多个嵌入副本,用不确定性隐式驱动检索阶段的探索,大幅提升长尾覆盖
📌 工作参考价值(4 点)
- 直接在 Faiss 等现有 ANN 索引上实现:每个物品预先采样多个嵌入加入索引,查询时也采样用户嵌入并检索去重,无需修改模型或索引后端,即可将嵌入不确定性转换为长尾物品的曝光机会。
- 自适应采样预算:对冷门、高不确定性的物品分配更多样本(如 S=2~10),头部物品保持单样本,可有效控制索引膨胀,同时将探索算力集中在需要曝光的尾部。
- 用交互计数简单构造“合成后验”:令 σ_i ∝ 1/(1+n_i)^γ,以此从点估计中生成模拟贝叶斯不确定性的噪声样本,低成本实现类似汤普森采样的检索阶段探索。
- 将精确度损失交由下游排序模型吸收:候选生成阶段允许少量 top-K 精度下降,换取覆盖率的数倍提升,后续排序器可以利用丰富特征对新增的探索候选重排,整体 pipeline 收益明显。